메뉴

#추론 API

MP
MarkTechPost • 26일 전
IMP 6

음성·실시간 에이전트용 최저 지연 추론 API 벤치마크

음성 에이전트는 지능 문제보다 지연(latency) 문제로 먼저 실패한다는 관점에서, 첫 토큰까지의 시간(TTFT)을 핵심 지표로 삼아 LLM, STT, TTS, 음성-음성(S2S) 등 음성 스택 전 계층의 추론 API를 비교한 벤치마크입니다. 각 수치는 2026년 8월 30일 기준 1차 소스로 검증되었으며, 독립 측정·벤더 공개·벤더 자체 측정 여부가 명시되어 있어 추론 API를 선택하는 실무자에게 유용한 자료입니다.

음성 에이전트 벤치마크 지연 시간